大模型训练工具

目录索引

▶︎
all
running...

Colossal-AI大模型高速训练工具快速入门

视频介绍与演示

1 Colossal-AI是什么?

Colossal-AI(Colossal读法:kəlɑ́səl)是一个用于AI大模型训练,推理的工具。它类似与微软的DeepSpeed,主要用来对训练和推理进行加速,尤其是针对大模型的训练进行了优化。
Colossal-AI的口号是: 让AI大模型更低成本、方便易用、高效扩展。
让您的分布式 AI 模型像构建普通的单 GPU 模型一样简单,并提供的友好工具可以让您在几行代码内快速开始分布式训练和推理。

2 Colossal-AI特点

特点:

成功案例:

亮点:

更多内容请参考官方说明:
https://github.com/hpcaitech/ColossalAI/blob/main/docs/README-zh-Hans.md

3 环境安装

以下安装仅在 Linux 系统下验证。

4 训练,微调LLaMA2

运行benchmark

操作步骤如下:

更多的参数说明,请参考:
https://github.com/hpcaitech/ColossalAI/tree/main/examples/language/llama2

官方学习资料:https://colossalai.org/zh-Hans/docs/get_started/run_demo/